<template>
    <div id="container">
        <div class="article">
            <div>
                <p class="crumbs">
                    <span class="crumb"><a href="/quanbuwenzhang">全部文章</a></span>&gt;
                    <span class="crumb"><a href="/pm">产品经理</a></span>&gt;<span>
                            《吆喝科技创始人王晔 ：传说中的增长黑客必杀技》</span>
                </p>
                <div class="articlebox">
                    <h1 class="articletitle">吆喝科技创始人王晔 ：传说中的增长黑客必杀技</h1>
                    <div class="articlehead">
                        <span class="tag tag1"><a href="/pm">产品经理</a></span>
                        <span class="name">小快</span><em></em>
                    </div>
                    <div class="articlecontent">
                        <p>
                            <span style="font-family:inherit;font-size:inherit;font-style:inherit;font-weight:800;line-height:inherit;vertical-align:baseline;">如何使用A/B测试迭代产品</span>
                        </p>
                        <p>
                            其实A/B测试这件事情，它的作用以及它变成通用化的解决方案和常规的工具，是从美国开始，准确的说是从Google开始的。2004年到2007 年把这个东西做出来，后来慢慢这样的技术、工具就被很多的互联网企业所使用。包括中生代的Facebook，包括新一代的UBER、Airbnb。
                        </p>
                        <p>
                            在 2010年的时候有一家叫Optimizely的公司，开始把这个做成云服务，就是第三方的标准化服务。Optimizely这个产品从10年到现在 （16年），它已经应该成长为美国最牛的，也是全球最牛的A/B测试云服务商。据我们所了解Optimizely是美国市场第一，它有好几千家付费客户。 据说按流量比前100位的网站，有30多个都是使用Optimizely做A/B测试的。
                        </p>
                        <p>
                            先说几个具体的案例。Google曾经在12年左右的时候把社交这件事情看得很重，所以投资了很多在Google Plus产品以及相关的东西上。facebook非常关心怎么能够把Google Plus里的信息，相当于把Google用户个人的喜好、他们朋友的喜好，作为广告内容或者Google生成的内容的一个参考或信号。
                        </p>
                        <p>
                            通过 A/B测试就会发现，这个信号其实并不是特别理想，就是没有想象的那么好。也就是可能用户的社交行为对用户的需求来说，远远不如用户的搜索词重要。如果大 家不知道这件事情话，如果我们不通过A/B测试，我们可能会误以为，花了很大的精力在技术上解决了很多难题，然后做了社交广告的产品会很有用。但实践告诉 我们，它的用处没有想象的那么大。所以后来我们就在技术上和产品上做了很多的精简，相当于节约了大量的开支，并且避免了不必要的技术投入。
                        </p>
                        <p>
                            类似的情况还有很多，也有很多成功的案例。比如Google发现一个它的搜索页面，它的落地页，或者这些落地结果的网站，如果这个网站有一个第三方 的权威的认证，这件事情很可能对用户来说是很重要的，他的搜索的质量可能会高。通过第三方的包括公开的Wikipedia，或者是非公开的，权威的百科数 据库等等。用这些信息作为一个网站搜索结果的信号。比如搜相机，可能搜到Canon或Leica，然后从第三方的权威数据库可以知道，Canon这个公司 是哪一年成立的，业绩怎么样，有多少人。这些信息可能对用户很重要，把这些信息加到搜索结果里，果然Google的搜索质量提高了很多，而且也给公司带来 了每年超过4亿多美元的营收增长。
                        </p>
                        <p>
                            还有很多类似的移动端的例子。像Airbnb它做过很多关于怎么去展示自己房屋的A/B测试试验，用过很 多很多种方法。后来它发现房屋展示里面最关键的就是最上面的几张照片，所以它就做了对照片展示的优化，通过这个就大幅度提高了用户对App的留存，以及在 上面下单及订房的转化率。
                        </p>
                        <p>
                            <span style="font-family:inherit;font-size:inherit;font-style:inherit;font-weight:800;line-height:inherit;vertical-align:baseline;"></span>
                        </p>
                        <p>
                            据野史记载，早期airbnb的「收藏」按钮是颗五角星。不知道哪位脑洞大开的产品经理认为，在airbnb中有很多女性用户喜欢看漂亮的房间来缓解压力，所以如果把「收藏」按钮改成心形比较好。结果这一个小的改动竟然真的让点击收藏的用户提升了20%。
                        </p>
                        <p>
                            其实A/B测试这个工具很强大，但是怎么用好它也是一个很重要的部分。像在Google里的经验，或者其他好的互联网公司，他们一般都会这样做。他们就是 根据自己现有的运营的状况还有产品的形态，总结过去的一些尝试的试验经验。然后他们会去想一些想法，一些brain storm。通过brain storm产生的想法，他们就会去判断，相当于他要去做一个试验的假设定义。
                        </p>
                        <p>
                            他就首先会说，如果我要改了这行文案，那么我期待他可能会带来什么样的变化。比如用户的注册率提高了，或者用户的下单率升高，这是我的假设。然后我用A/B测试来检验我的假设对不对，他再去付诸实践。
                        </p>
                        <p>
                            所以在产品迭代有了A/B测试之后，他的过程就变成这样了。每一次产品迭代周期的早期，是一些头脑风暴，大家想一些idea，然后进行一些讨论，讨论完之 后产生一个测试的方案，就是刚才所说的我有哪些假设，我要一一的怎么样去检验，这些假设和测试方案确定了之后，再交付给工程师去开发。发开的时候就会考虑 到A/B测试里灰度发布之类的功能，这些功能都会一并上线，上线之后再通过放流量进来的方法，对这些假设或者试验一一的进行验证。那些不好的，验证失败 的，发现我的假设不对，跟我想的不一样，那么他的试验就会关停。
                        </p>
                        <p>
                            大多数用户并不知道这件事情发生。那些成功的试验，就可能原来是1%的流量，现在就给他增长到5%，让更多的用户来体验，发现又好，那么增长到20%，最 后发布给所有的用户。一旦发布给所有的用户之后，可能在下一个产品迭代周期的时候，他的代码、他的功能就固化了，就不用再去试验了。下一个迭代周期的时候 又会上一些新的功能，就这样长此往复。
                        </p>
                        <p>
                            也就是说，每一个迭代周期，我们都把原来试验成功的部分发布给所有用户，让大家受益，然后再上线一些我们想到的新的方法，逐渐尝试，逐渐优化，每一次都比 原来要提高一些，日积月累就会越来越好。如果我们不是很熟悉A/B测试，特别是它背后的一些数学原理的话，那我们在第一次使用它的时候可能会出现各种各样 的误区。比如说我们随机分了两组用户，一组用A版，一组用B版。最后看到一些数据，B版的用户点击多了，A版的用户点击少了，那么我们就认为B版比A版 好，其实这是不够的。
                        </p>
                        <p>
                            A/B测试从科学性上来讲，就是要其他条件都相等，只改变一个条件。但是，比如随机分了一些用户，有可能恰好分到A租的用户，他们就是一些爱点击的用户， 那么你得出的结论并不说明A版本好，只是因为你凑巧选中了一些爱点击的用户。有一些产品经理可能，如果他走向这个误区，他可能会走极端，他就会做很多很多 次试验，总有一次他能碰到他的版本比别人好的情况，那么他就会说，哎我这个成功了。但其实这是一个误区，我们不应该这么去做。
                        </p>
                        <p>
                            <span style="font-family:inherit;font-size:inherit;font-style:inherit;font-weight:800;line-height:inherit;vertical-align:baseline;">我们正确的方法应该是，保证A组和B组的用户都有足够强的代表性，是比较相似的。</span>要做到这一点有很多种方法。如果我们的系统在分割流量的时 候，有这种随机性或者不确定性。有一种简单的方法我们叫A/A测试，可以来帮助你解决这个问题。就是在你上线A版本对B版本的试验之前，你先分两组用户让 他们都用A版本，然后做个对比看看有没有问题，跑了几天或者一个星期之后，发现好像A/A测试通过了，没有问题，这个时候再把其中一组变成B版本，这个时 候的A/B测试结果就会比较准确。
                        </p>
                        <p>
                            另外当你产生试验结果的时候，分析的时候不能很简单只是看一些简单的数字。比如这组里面购买了100万，另外一组里购买了98万，但这并不能说明 100万的就好，98万的不好。而你要去考虑整体的情况。这个试验组里到底进来了多少用户，这些用户的行为又是什么样的随机事件的组合。
                        </p>
                        <p>
                            最 终，比如说我们的平台，就会把两个试验组和对照组的用户的行为，看做是两个模型，对模型的参数进行统计学意义上的分析，最终可以得出一个大家比较好判断 的，叫置信区间这样一个试验结果。那么就是说我会告诉你，这个版本比那个版本，平均意义上或者统计学意义上讲，我好了5%。但实际上这5%是一个猜测，它 更有可能的区间是从3%到7%，这样一个置信区间的结论就对大家比较有帮助。
                        </p>
                        <p>
                            <span style="font-family:inherit;font-size:inherit;font-style:inherit;font-weight:800;line-height:inherit;vertical-align:baseline;">几点关于A/B测试的经验总结</span>
                        </p>
                        <p>
                            在我和大家一些分享中，我曾经提到过Ronny（微软的科学家）的A/B测试若干条经验，有些经验是非常非常棒的，我就再总结一遍。
                        </p>
                        <p>
                            <span style="font-family:inherit;font-size:inherit;font-style:inherit;font-weight:800;line-height:inherit;vertical-align:baseline;">第一点是，首先A/B测试应该从小的改动做起，而不是大的改动。</span>
                        </p>
                        <p>
                            有很多产品经理或者运营人员，他们总觉得我要做一个大的改版，或者是我要做一个完全不同的新的功能，来和老的版本进行对比会不会有意义。实际上往往你得出 的结论对你的帮助都很有限。为什么呢？除了因为你的变化太多，你没有办法归因。比如你改动了界面里的5个地方，最后你提高了10%，那么这10%是因为什 么呢？是因为这5个改动每个都帮你提高了2%呢？还是有一个改动帮你提高了100%，其他4个改动反而拖累了你呢？这个东西就很难归因。这是从你的最后的 经验总结上，给你带来不必要的麻烦，甚至是大大降低了你的A/B测试的价值。
                        </p>
                        <p>
                            <span style="font-family:inherit;font-size:inherit;font-style:inherit;font-weight:800;line-height:inherit;vertical-align:baseline;">第二点是，巨大的改动有时候会影响到你的科学性。一旦改动了很大的版面，很可能你的用户群体也会发生变化。</span>
                        </p>
                        <p>
                            你原来是卖车的，你现在变成一个卖房的，那用户群体都会发生变化。你用你对男人做的A/B测试的结果，用到女人身上，那显然是没有意义的嘛，是不可靠的。 或者说大的改动的A/B测试帮助很小。应该是小的改动的A/B测试帮助很大。而且小的改动往往有奇效。但是大多数的改动其实帮助不大，就是你可能做100 个测试，你会发现五六十个对你都没有什么帮助，往往是一些不起眼的改动，出乎意料的有效果。
                        </p>
                        <p>
                            有一点经验是永远有效的，叫做提升你的产品和技术的性能。举个例子来说。我们常常都要大量做H5营销，在微信里传播H5页面，有很多可以影响H5传播的效 果的。比如你的文案、你的标题、你的图片、你的内容、你的配图、你的版面，都会影响。但是有一个东西是一定会影响的，就是它读取的性能。如果你的H5页面 的改版比你的老版提升10%的性能，你的转化率、分享率都可能提升20% 30%或者更多。所以性能提升一定会带来效果提升。
                        </p>
                        <p>
                            <span style="font-family:inherit;font-size:inherit;font-style:inherit;font-weight:800;line-height:inherit;vertical-align:baseline;">第三点是，我们做A/B测试一定不要太局限于细节，我们一定要从产品和运营的大的目标来进行。</span>
                        </p>
                        <p>
                            换句话说就是我们要找准真正对我们有意义的KPI。
                        </p>
                        <p>
                            我举个很有意思的例子，有个电商做了这样一个试验。他说我把商品的展示页面里，我加强一下对价格的展示，原来那个价格就在下面文案里，我现在搞一个 大圆圈的价格展示在图片上。发现加了这个之后，用户浏览这个商品的点击率下降了一半以上，好像这个试验结果很糟糕，但其实这个试验结果很成功。
                        </p>
                        <p>
                            为 什么呢？因为虽然点进去看这个商品的人减少了一半，但是下单率却提高了两倍以上。最后你的营收反而增长了。因为从A/B测试的角度讲你得到了一些数据，然 后就可以把这个经验转化成自己可以吸收的东西，你就会发现，原来我之前很多用户点这个商品的时候并不知道这个价格。就是一些可能根本不会买这个商品的人都 点了这个东西。那么当然就浪费这些用户的时间。他根本就不可能更好的下单或者找到自己想要的东西。但如果我在展示上做了这样一个优化，我就发现虽然用户点 的少了，但是那是因为他点的准了，就是他更有可能更快的找到他想买的东西。
                        </p>                        </div>
                </div>

            </div>

        </div>
        <div class="otherarticle" id="bikan" style="width: 299px;">
            <h2 class="asidetitle"><em></em><a href="/pm">产品经理必看</a></h2>
            <div class="otherbox">

                <div class="otheritem">
                    <h1><a href="/pm/651.html"> 腾讯产品总监曹菲：产品经理们，五年后，你会失业吗？ 【上】</a></h1>
                    <div>
                        <span class="articleicon readnumber" title="这篇文章被看了13685次"></span>13685&nbsp;&nbsp;
                    </div>
                </div>
                <div class="otheritem">
                    <h1><a href="/pm/685.html">产品经理面试：哪些问题是你没有准备的？</a></h1>
                    <div>
                        <span class="articleicon readnumber" title="这篇文章被看了12199次"></span>12199&nbsp;&nbsp;
                    </div>
                </div>
                <div class="otheritem">
                    <h1><a href="/pm/428.html">你知道定位精准用户的秘诀吗？</a></h1>
                    <div>
                        <span class="articleicon readnumber" title="这篇文章被看了8768次"></span>8768&nbsp;&nbsp;
                    </div>
                </div>
                <div class="otheritem">
                    <h1><a href="/pm/403.html">产品经理应该具备的能力</a></h1>
                    <div>
                        <span class="articleicon readnumber" title="这篇文章被看了7081次"></span>7081&nbsp;&nbsp;
                    </div>
                </div>
            </div>
        </div>
        </div>
</template>

<script>
    require('assets/less/info.less')
    export default{
        data(){
            return{

            }
        },
        components:{
        }
    }
</script>
